LLM agent safety, multi-turn red-teaming, jailbreak benchmarks, adversarial robustness, safety-critical systems
NRT-Bench：安全关键控制室中LLM操作员代理的多轮红队测试基准
🧭 Agent安全 · 多轮红队测试
AIM Intelligence · KAERI
构建多轮红队基准，揭示LLM代理在自适应攻击下高度脆弱，且模型间漏洞互不重叠。
📌 工作参考价值（4 点）
- 对推荐/对话Agent做安全评估时，可借鉴多轮自适应攻击模拟，而非单次注入，更贴近真实用户恶意交互。
- 防御措施可能互相抵消甚至反效果：在客服Agent中叠加安全模块前，务必针对具体模型做A/B测试，不能通用假设有效。
- 客观危害指标（如业务指标下降、用户流失）比LLM-Judge文本判断更可靠，可用于推荐系统的安全离线评估。
- 多个模型漏洞几乎互斥，提示在Agent链中组合不同LLM可能提升鲁棒性，但需避免单点被突破。